Dufty là con trai của nhà văn William Dufty và Maely Bartholomew, người đã mất hầu hết gia đình trong Holocaust. Dufty lớn lên ở Harlem, Thành phố New York, nơi mẹ ông kết bạn với nhạc sĩ nhạc jazz Billie Holiday, người sau này trở thành mẹ đỡ đầu của ông. Có thể nghe thấy giọng nói của ông trong một bản ghi âm được thực hiện trong gia đình Dufty nơi Holiday nói đùa về chiếc quần lót màu đỏ của ông.[1]

Sau khi chuyển từ Harlem đến California năm 16 tuổi, Dufty đã học xong trung học tại Trường Trung học Menlo-Atherton, phía nam San Francisco. Dufty tốt nghiệp Đại học California, Berkeley, nơi ông là đồng chủ tịch hội sinh viên và lấy bằng Khoa học chính trị. [cần dẫn nguồn]